人工智能 (Artificial Intelligence, AI)

从名字上来看：人所创造出来的「智慧」，让机器展现「智慧」

人工智能是一个目标，它不是一个单一的技术

生成式人工智能 (Generative AI)

让机器产生复杂有结构的物件，如：

• 文章：由文字所构成
• 影像：由像素所组成
• 语音：由取样点所构成

复杂：尽乎无法穷举

让 ChatGPT 写一篇 100 字的中文文章，标题为《缝隙的联想》

用中文字组成 100 字的文章有多少的可能性？

假设中文常用字为 1000 个，$1000\ast 1000\ast 1000\ast 1000\ast \dots \dots ={1000}^{100}={10}^{300}$，而宇宙中的原子总数估计为 ${10}^{80}$

可以说是：从近乎无穷的可能中找出适当的组合

不是生成式人工智能

分类（Classification）：从有限的选项中做选择

• 垃圾邮件检测：答案有限，是或不是
• 猫狗分类：猫或狗

![[Pasted image 20250727194659.png]]

机器学习 (Machine Learning)

机器学习 ≈ 机器自动从资料找一个函式

![[Pasted image 20250727194906.png]]

中学的时候你用人力算出参数，机器学习是自动算出参数的方法

机器学习所要面临的问题要比 $y=ax+b$ 复杂的多

假设要做一个机器可以分辨猫和狗

有一个函式：猫 or 狗 = 𝑓(图片) = …a…b…c…d…e…f…g（上万个参数）

![[Pasted image 20250727201327.png]]

机器学习可以把上万个参数找出来：𝑎 = 1.3, 𝑏 = −7.2, 𝑐 = 0.4, ...

• 训练 (training)、学习 (learning)：机器把上万个参数找出来的过程
• 训练资料：上图中喂给机器的输入输出，机器依据这些输入输出找出上万个参数
• 测试 (testing)、推论 (inference)：找出上万个参数后，将新的图片代入函式，机器返回猫 or 狗

表示上万个参数 —— 类神经网络 (Neural Network)：

![[Pasted image 20250727201928.png]]

• 深度学习 (Deep Learning)：是一种机器学习技术。将有大量参数的函式表示成类神经网络，然后将这些参数解出来的技术

深度学习是机器学习的一种。可以有很多方法表示有大量参数的函式，当用类神经网络表示时，就是深度学习

关系图

![[Pasted image 20250727202456.png]]

• 生成式人工智能是目标；机器学习是手段
• 生成式人工智能可以通过机器学习实现，也可以通过其他手段实现
• 机器学习可以实现生成式人工智能，也可以实现其他目标

![[Pasted image 20250727202732.png]]

• 今日的生成式人工智慧多以深度学习达成，所以对现在来说，上图也可以接受

ChatGPT 也就是个函式

输出文本 = f(输入文本) = …a…b…c…d…e…f…g（上亿个参数）

上亿个参数的表示：Transformer（类神经网络的一种）

![[Pasted image 20250727203127.png]]

训练资料：

机器学习把上亿个参数找出来

AI 画图也就是个函式

AI 画图：Stable Diffusion, Midjourney, DALL·E

输出图片 = f(输入文本) = …a…b…c…d…e…f…g（上亿个参数）

训练资料：

![[Pasted image 20250727203712.png]]

机器学习把上亿个参数找出来

机器需要能够产生在训练时从来没有看过的东西

也就是需要有「创造力」

输出文本 = f(输入文本) = …a…b…c…d…e…f…g（上亿个参数）

训练资料：

测试时：… = 𝑓(写一篇题为需要创造 「缝隙的联想」的文章)

需要创造全新的文句

文字接龙

如何做到上述的「创造力」？

![[Pasted image 20250727210314.png]]

以上描述的拆解成一连串的文字接龙就是语言模型

每一步文字接龙是一个分类问题，整体上是一个生成式问题

关系图：

![[Pasted image 20250727210415.png]]

生成策略

![[Pasted image 20250727210945.png]]

把复杂的物件拆解成较小的单位，之后依照某种固定顺序依序生成的策略，叫做 Autoregressive Generation

ChatGPT 就是采用此生成策略

生成式人工智能不是今天才有

例 1

李宏毅老师 2015 年的课程：《机器学习及其深层与结构化》

• 深层：就是深度学习，当时翻译不同
• 结构化：就是生成式人工智能，让机器产生复杂有结构的物件

![[Pasted image 20250727211454.png]]

过去 2015 年讲的结构化学习和现在的生成式人工智能，背后的技术有什么一样的地方呢？

结论是没什么一样的地方

技术变化真的是非常的快，短短十年的时间，技术已经有了翻天覆地的变化。但是生成式人工智能的概念不是今天才有的

例 2

2006 年上线的 Google 翻译

![[Pasted image 20250727212150.png]]

翻译是生成式人工智能的一种应用

今日的生成式人工智慧有什么特别厉害的地方呢？能够突然爆火起来